5 朗之万方程与福克 - 普朗克方程
许多关于扩散模型的近期论文,要么聚焦于提升图像生成质量(通过将其推广到语义更丰富的图像),要么致力于将其应用于新领域的问题(如医疗数据)。为助力初学者更好地理解这些应用的基础,我们将回溯,探讨与扩散模型相关的随机微分方程(SDE)的物理原理。通过研究这些随机微分方程的基本原理,我们期望更深入地理解这些方程的起源。
具体而言,我们的研究涉及与扩散相关的两大类方程:朗之万方程和福克 - 普朗克方程。本节有几个目标。首先,我们要探讨朗之万方程的起源,阐释它为何与扩散模型相关。我们要解释马尔可夫过程的一般性质,以及与之相关的微分方程。最后,我们要展示福克 - 普朗克方程是如何推导出来的,并讨论它在扩散模型中为何占据重要地位。
5.1 布朗运动
历史视角:1827 年,植物学家罗伯特・布朗观察到一个现象:当小花粉粒置于水中时,会产生不规则运动 。这种花粉粒的运动后来被命名为布朗运动。1905 年,阿尔伯特・爱因斯坦首次对布朗运动作出解释 ,几乎在同一时期, Marian Smoluchowski 也独立进行了阐释 。爱因斯坦的主要论点是,花粉粒的运动是由水分子的撞击引起的。然而,由于系统中分子数量高达数万亿,且我们从未知晓单个分子的微观状态,使用经典分析来研究显微镜下花粉粒的运动几乎是不可能的。爱因斯坦表明,分子的均方位移可与扩散系数相关联 ,于是他通过考虑分子的统计行为引入了一种概率方法。爱因斯坦的理论预测后来在 1926 年被让 - 巴蒂斯特・佩兰实证确认,佩兰也因此荣获诺贝尔物理学奖。爱因斯坦的论文发表几年后,1908 年,法国物理学家保罗・朗之万构建了一个随机马尔可夫力,用于描述粒子的碰撞和相互作用。这随后促使荷兰物理学家阿德里安・福克在 1914 年推导出一个偏微分方程,德国物理学家马克斯・普朗克于 1917 年对其进行了拓展,该方程如今被称为福克 - 普朗克方程。1940 年,汉斯・克拉默斯和 1949 年何塞・恩里克・莫亚尔引入的克拉默斯 - 莫亚尔展开,展示了一种泰勒展开技术,用于描述概率分布的时间演化。
布朗运动的推导:那么,什么是布朗运动,它与扩散模型又有怎样的关联呢?假设流体中有一个悬浮粒子。斯托克斯定律指出,作用于粒子的摩擦力由下式给出: 其中, 是摩擦力, 是速度,且 。这里, 是粒子半径, 是流体的粘度。根据牛顿第二定律,我们进一步知晓 其中 是粒子质量。将这两个方程联立: 我们将得到如下微分方程: 通过定义 ,我们可将上述方程简化为: 上述确定性方程在粒子质量显著大于流体分子质量时是准确的。原因在于,根据动量守恒,当大质量粒子与流体分子碰撞时,获得的速度很小。然而,由于花粉粒非常轻,水分子的撞击会使它们以虽小但不可忽略的方式加速。这将产生随机波动。此时,水分子作用于粒子的总力被修正为: 其中, 是一个随机项。这将为我们提供一个修正后的微分方程: 通过定义 ,我们得到一个新的微分方程: 它可以用简写符号表示为: 在公式 (5.4) 中,随机过程 代表一种被称为朗之万力的随机力。它满足两个性质:
- 对于所有 t,,即其均值函数为恒定零;
- 对于所有 t 和 ,,即自相关函数是一个振幅为 q 的 delta 函数。
注记:性质 (i) 和 (ii) 是宽平稳过程的特殊情况。宽平稳过程是一种随机过程,其均值函数为常数(不一定为零),且自相关函数 仅为时间差 的函数。此函数不一定是 delta 函数。例如, 可以是一个有效的自相关函数,满足宽平稳过程的条件。
满足性质 (i) 和 (ii) 的随机过程有时在统计力学文献中被称为delta 相关过程 。有多种方法可构建 delta 相关过程。例如,我们可假设 ,对于不同的 ,或者任何其他独立同分布且以相同方式定义的分布。高斯分布更常被使用,因为许多物理现象(如热噪声)可由高斯白噪声描述。满足性质 (i) 和 (ii) 的高斯随机过程可被称为高斯白噪声。
对于任何宽平稳过程,维纳-辛钦定理指出,功率谱密度可通过自相关函数的傅里叶变换来定义。更具体地说,如果 是自相关函数(若 是宽平稳过程,我们可将 写作 ),维纳 - 辛钦定理表明功率谱密度为: 因此,如果 是 delta 函数, 对于所有 将具有恒定值。
注记:“高斯白噪声” 这一名称源于功率谱密度 对于每个频率 都是均匀的(因此它包含可见光谱中的所有颜色)。白噪声被定义为对于所有 ,。很容易证明这样的 会满足上述两个条件。
首先, 因构造而满足 (因为 )。其次,如果 ,则 必然是 delta 函数。维纳 - 辛钦定理随后表明,功率谱密度是平坦的,因为它是 delta 函数的傅里叶变换。下图展示了白噪声的随机实现及其自相关函数。

从物理学到生成式人工智能:由于 呈现出的随机性,公式 (5.4) 给出的微分方程是一个随机微分方程(SDE)。这个 SDE 的解是一个随机过程,其中 的值在任意时间 t 都是一个随机变量。布朗运动指的是这个随机过程 作为时间函数的轨迹。公式 (5.4) 中的 SDE 是朗之万方程的一个特殊情况。我们将其称为具有 delta 相关朗之万力的线性朗之万方程:
定义 5.1:具有 delta 相关朗之万力的线性朗之万方程是一种随机微分方程,形式为: 其中, 是一个满足以下两个性质的随机过程:(i) 对于所有 t,;(ii) 对于所有 t 和 ,
此时,我们可以将公式 (5.6) 中的朗之万方程与扩散模型(如 DDPM)相联系。
示例 5.1:前向 DDPM。回顾一下,DDPM 的前向扩散方程为: 将其表示为朗之万方程形式,我们可写作: 其中 示例 5.2:反向 DDPM。反向 DDPM 扩散由公式 (4.16) 给出: 将其表示为朗之万方程形式,我们可写作: 其中 我们可以针对其他扩散模型(如 SMLD)继续这些示例。我们将这些留作读者的练习。我们的核心要点是,前几章中看到的扩散方程都可以通过朗之万方程来构建。因此,如果我们想了解这些扩散方程产生的概率分布,就应该在文献中寻找朗之万方程的相关工具。
(线性)朗之万方程的解:公式 (5.6) 中呈现的线性朗之万方程较为简单。我们有可能解析推导出任意时间 t 时 的解。
我们从考虑更简单的情况开始,即 。此时,微分方程为: 它被称为一阶齐次微分方程。该微分方程的解如下。
定理 5.1:考虑以下微分方程: , 初始条件为 。解为:
证明:通过重新排列项,我们可证明: 这里我们假设对于所有 t,,以便我们可以取 。对两边积分将得到: 方程左边将给出 ,而右边将给出 。令它们相等将得到: 现在让我们考虑 存在的情况。微分方程变为: 它被称为一阶非齐次微分方程。为求解这个微分方程,我们采用一种称为常数变易法 的技术 。其思路可总结为两个步骤。我们从之前的推导中知道,齐次方程的解是 。那么,对于非齐次情况,我们对解的形式做出合理猜测,即 ,其中 是待确定的某个函数。为简化符号,我们定义 。如果 是该微分方程的解,那么我们可以计算 。方程左边为: 最后一个等式源于 是齐次方程的解,因此 。因此,对于 ,需要 ,即通过找到合适的 来满足。但这并不困难。方程 可写作: 对两边积分将得到: 由于 ,我们可证明: 因此,完整的解(齐次部分与非齐次部分之和)为: 我们将结果总结如下。
定理 5.2:考虑以下微分方程: 初始条件为 。解为:
平衡态分布 :前面的结果表明,解 是随机过程 的函数。由于每次进行(布朗运动)实验时,我们都不知道 的具体实现,通过查看 的概率分布来描述它往往更有用。接下来,我们遵循 Risken 的方法 ,分析当 且 时平衡态的概率分布。
定理 5.3:考虑定义 5.1 中的朗之万方程,即: 且 是满足上述性质的高斯白噪声。设 是该 SDE 平衡态的解, 是 x 的概率分布。则有:
定理 5.3:考虑定义 5.1 中的朗之万方程,即: 且 是满足上述性质的高斯白噪声。设 是该随机微分方程(SDE)平衡态的解, 是 x 的概率分布。则有: 其中 。换言之,平衡态下解 是一个零均值的高斯随机变量。
证明:设 为初始条件。那么,该随机微分方程的解形式为: 在平衡态,当 时,我们可忽略 这一项。此外,通过令 ,我们可将解表示为: (这里利用了 是平稳过程的性质,即 的统计特性与 相同 )
概率密度函数 可通过对随机变量 的特征函数取傅里叶逆变换来确定。回顾一下,随机变量 的特征函数为: 因此,要找到 ,我们需要确定矩 。利用 Risken(第 3 章公式 3.26 和 3.27)中的一个结论,我们可以证明: 将此结果代入特征函数,将得到: 认识到这是一个高斯分布的特征函数,我们可以通过傅里叶逆变换来得到概率密度函数:
示例 5.3(前向 DDPM 平衡态分布)
我们将所得结果应用于前向 DDPM 方程,进行合理性检验,看看在平衡态会得到怎样的概率分布。
为简单起见,假设 DDPM 方程的学习率为常数: 对应的朗之万方程为: 当 时,根据我们上面的定理,有: 这里我们代入了 ,且 。因此,当 时, 的概率分布是 ,这与我们的预期一致。
维纳过程
在 的特殊情况下,线性朗之万方程简化为: 令公式 (5.11) 中 ,可证明: 这也被称为维纳过程。维纳过程解的概率分布可推导如下。
定理 5.4(维纳过程):考虑维纳过程: 其中 是高斯白噪声,满足 且 。解 满足 时的概率分布 为:
证明:此结果与定理 5.3 的主要区别在于,这里我们关注任意时刻 t 的分布。为此,注意到 。所以,为消除非零均值,我们可考虑 。将其代入公式 (5.13),可证明: 这意味着 的特征函数为: 对其取傅里叶逆变换,将得到 的概率分布: 为深入理解此方程,假设 且 (k 为常数),则有: 一个有趣的发现是,这一结果(可在许多热动力学教材中找到)表明,概率分布 是热传导方程的解: 假设初始条件为 。要验证这一点,只需将概率分布代入热传导方程,可发现: 热传导方程的解表现为从原点开始、随时间增加向外扩展的高斯分布。这一结果的意义在于,虽然很难知晓由朗之万方程定义的随机过程 的精确轨迹,但热传导方程提供了概率分布的完整图景。图 5.2 展示了维纳过程 的随机实现及其对应的概率分布 。

对于更复杂的朗之万方程(涉及非线性项),自然可预期有一个类似的偏微分方程来描述概率分布。更具体地说,可合理预期方程中会有 项,另一侧会有 项。正如我们稍后将展示的,福克 - 普朗克方程会有类似形式。实际上,可从福克 - 普朗克方程推导出热传导方程。
注记:对于形如以下形式的齐次微分方程组: 其中 且 ,且 ,对应的随机过程被称为奥恩斯坦 - 乌伦贝克过程。
5.2 主方程
到目前为止,我们一直在研究线性朗之万方程 。该方程让我们能够处理大多数前向扩散问题,即目标是向样本中添加噪声(即将输入分布转换为高斯分布)。对于反向扩散(如反向 DDPM 方程和反向 SMLD 方程),我们需要更通用的形式。我们现在考虑的方程是非线性朗之万方程,形式如下。
定义 5.2(非线性朗之万方程):非线性朗之万方程形式为: 其中 和 分别是漂移项和扩散项。与之前一样,假设 是高斯白噪声,满足对所有 t,,且 (这里系数 2 是为了与常见约定一致 )。读者可参考示例 5.2,了解反向 DDPM 如何适配此方程。
分析非线性朗之万方程的难点在于没有简单的闭式解。因此,我们需要开发一些数学工具来帮助理解非线性朗之万方程。
马尔可夫性质
首先定义马尔可夫过程。假设 在时间 时的值为 ,且 。我们用 描述 的概率密度。我们还引入以下简写符号: 且 因此, 是 的联合分布。定义马尔可夫过程:若随机过程 满足以下无记忆性条件,则称其为马尔可夫过程。
定义 5.3(马尔可夫过程):若随机过程 满足: 则称其为马尔可夫过程。即,在已知所有先前状态的情况下, 时刻状态 的概率,与仅基于前一时刻 的状态 时的概率相同。
只要 是 delta 相关的,定义 5.2 中满足非线性朗之万方程的随机过程 就是马尔可夫过程。这意味着, 时刻的条件概率仅依赖于 时刻的值。Risken 总结了原因:(i) 一阶微分方程由其初始值唯一确定;(ii) delta 相关的力在时刻 无法改变 时刻的条件概率。Risken 进一步阐述,若 不再是 delta 相关的,马尔可夫性质将被破坏。例如,若 满足 ,则由 描述的过程将是非马尔可夫的。从现在起,我们仅关注马尔可夫过程。
查普曼 - 科尔莫戈罗夫方程
考虑马尔可夫过程 ,我们可推导出一个有用的结果,即查普曼 - 科尔莫戈罗夫方程。该方程指出,可通过对给定 时 的条件概率积分,以及对给定 时 的条件概率积分,得到 和 时刻的联合分布。这里的两个关键依据是贝叶斯定理、边际化定义以及马尔可夫过程的无记忆性。
定理 5.5(查普曼 - 科尔莫戈罗夫方程):设 为马尔可夫过程, 为 在时刻 的状态。则: 假设
证明:为简化符号,令 ,。若 是马尔可夫过程,根据马尔可夫过程的无记忆性,有: 重复上述推导,可得: 因此,通过对 关于 进行边际化,可证明: 由于 ,可证明: 这就完成了证明。
作为查普曼 - 科尔莫戈罗夫方程的推论,令 为当前状态, 为初始状态, 为中间状态,则方程可写为: 若进一步去掉对 的条件,可写为:
主方程
基于查普曼 - 科尔莫戈罗夫方程,我们可推导出马尔可夫过程的基本方程,称为主方程。
定理 5.6(主方程):设 为马尔可夫过程,主方程指出: 其中 是单位时间的概率密度函数。
证明:回顾查普曼 - 科尔莫戈罗夫方程: 考虑如下映射: 则查普曼 - 科尔莫戈罗夫方程可写为: 由于我们的目标是得到时间的偏导数,考虑
对时间的导数: 我们注意到,在上述方程的右侧,存在一个积分。如果我们交换变量 x 和 ,可以利用以下结论: 我们可以将其代入上述方程,得到: 接下来,我们可以将极限移到积分内部。定义: 这样,我们有: 如果我们固定 ,那么可以去掉条件。这将得到: 这就完成了证明。
主方程的一种常见形式是假设 仅依赖于 x 和 (即与时间无关)。在这种情况下,我们可以将 简化为 ,主方程变为:
主方程描述了概率分布 随时间的演化,它考虑了从状态 转移到状态 x 的概率(由 表示)以及从状态 x 转移到状态 的概率(由 表示)。
在朗之万方程的背景下,我们可以利用主方程来推导福克 - 普朗克方程,这将在后续章节中进行讨论。福克 - 普朗克方程是主方程的一种特殊形式,适用于由朗之万方程描述的马尔可夫过程,它提供了一种更直接的方式来计算概率分布的演化。
总结来说,主方程是马尔可夫过程概率分布演化的基本方程,它为我们理解更复杂的随机过程(如由非线性朗之万方程描述的过程)提供了基础。通过进一步的推导和简化,我们可以得到适用于特定情况的方程,如福克 - 普朗克方程,从而更深入地分析扩散模型中的概率分布演化。
主方程相关内容
在上述推导中, 和 这两项被称为转移速率 。它们是单位时间内的转移概率,单位为 时间 。因此,若对其关于时间积分,我们会得到: 理解主方程的一种方式是,将 视为流入 ,将 视为从状态 到 x(以及从 x 到 )的转移概率的流出 。所以,若把概率看作房间中粒子的密度,那么主方程表明:密度变化率等于粒子流入与流出的差值 : 变化率概率流入概率流出 主方程在化学、生物学等众多学科中应用广泛。粒子流入和流出的概念对于研究系统动力学尤为有用。主方程的另一个重要方面是,它将时间的变化 与状态的变化 相关联,这在福克 - 普朗克方程中会体现得很明显。
我们在证明过程中可能会抱怨,尽管上述证明很严谨,但缺乏物理直观。接下来,给出一个更直观但不够严谨的替代证明,该证明基于 Luca Donati 的讲义 13 。
直观证明
考虑一个只能处于状态 1 或状态 2 的粒子。处于特定状态的概率为 和 ,且对于任意 t ,有 。现在考虑一个小的时间区间 ,在该区间内,粒子要么保持当前状态,要么跳转到另一个状态。这意味着在 时刻结束时,我们可以写出: 留在状态从跳到从跳到从跳到 定义速率 和 ,使得: 从跳到从跳到 注意,这里我们隐含地假设转移分布是马尔可夫的,即当前状态仅依赖于前一状态,而非整个历史。那么,上述方程可写为: 高阶项 用于考虑在 区间内的多次跳跃(例如,从 跳到 ,然后又跳回 ),但当 时,该项会消失。整理各项,我们可以写出: 我们可以将此结果推广到多个状态以及与 相关的转移。例如: 为了更具一般性,我们可以考虑状态 的连续统。通过整理各项,我们将得到: 这就是主方程。
5.3 克莱默斯 - 莫亚尔展开(Kramers-Moyal Expansion)
有了主方程,我们现在可以处理非线性朗之万方程。回顾一下,非线性朗之万方程没有闭式解,因此我们无法解析地写出解的概率分布。主方程让我们能够通过一个名为福克 - 普朗克方程的偏微分方程,来描述概率分布需满足的条件。推导福克 - 普朗克方程需要用到一个名为克莱默斯 - 莫亚尔展开的数学结论。
定理 5.7:设 为马尔可夫过程, 为 在时刻 t 取值为 x 的概率分布。克莱默斯 - 莫亚尔展开表明: 其中,克莱默斯 - 莫亚尔展开系数定义为:
证明:从主方程开始。主方程表明: 我们引入一个测试函数 ,使得: 对测试函数进行泰勒展开,会得到一个无穷级数: 将展开式代入主方程,我们会得到: 我们注意到,上述方程中的最后一个双重积分有哑变量 和 x 。我们可以交换哑变量,写成: 这样,方程 (5.31) 中的第一个和第三个双重积分就可以抵消,剩下: 现在,定义: 那么,主方程变为: (代入)(交换求和与积分顺序)(广义分部积分,其中最后一步利用了广义分部积分,即对于任意连续可微函数和,有) 综合以上所有步骤,并认识到上述结果对任意测试函数 都成立,可得: 如果进一步去掉对 的条件,我们将得到: 这就完成了证明。
克莱默斯 - 莫亚尔展开通过空间导数 来表示任意马尔可夫过程(包括非线性朗之万方程解)的概率分布的时间导数 。然而,该展开式有无穷多项。现在一个重要问题是,我们是否可以截断这些项中的任意项,以及能截断多少项。帕乌拉定理(Pawula Theorem)回答了这个问题 :
定理 5.8(帕乌拉定理):克莱默斯 - 莫亚尔展开可在以下三种情况之一处截断:
- :得到的微分方程称为刘维尔方程(Liouville Equation),对应确定性过程。
- :得到的微分方程称为福克 - 普朗克方程(Fokker - Planck Equation)。
- ,即展开式无法截断。
证明:回顾克莱默斯 - 莫亚尔系数的定义: 令 ,这里关注的是 m 阶矩 。
应用柯西 - 施瓦茨不等式,对于任意函数 f、g 以及随机变量 X、Y,有 考虑两种情况:
假设 且 m 为奇数,则:
假设 且 m 为偶数,则:
注意,对于 ,无法应用上述推导,因为会得到无意义的等式。
由这两个关系,若记 ,则上述两种情况可写为: 为奇数且为偶数且 我们的目标是证明这种递推关系会导致对于任意 ,有 。
假设 ,那么 意味着 。
若 ,则 意味着 。重复此过程,对于 都有 。
类似地,假设 , 意味着 。
若 ,我们可以回到第一种情况,证明对于 , 。
对于奇数 ,若 ,则 意味着 。
类似地,若 ,则 。所以,若 ,则 。
因此,上述分析表明,若对于任意偶数 ,,则对于所有 , 。
若克莱默斯 - 莫亚尔展开在 处截断,即 且 ,那么 会迫使 ,最终对于所有 , 。类似地,若展开在 处截断,即 且 ,则 会迫使 。对其他 重复上述推导,可知克莱默斯 - 莫亚尔展开无法在 处截断。换言之,我们要么在 或 处截断展开式,要么根本无法近似。
帕乌拉定理并未表明截断到 的福克 - 普朗克方程是对主方程的良好近似,它只是说明我们要么能用 或 精确近似主方程,要么根本无法近似。
5.4 福克 - 普朗克方程
现在我们可以讨论福克 - 普朗克方程。福克 - 普朗克方程是克莱默斯 - 莫亚尔展开在 处的截断形式。
定义 5.4(福克 - 普朗克方程):福克 - 普朗克方程通过将克莱默斯 - 莫亚尔展开截断到 得到。对于任意马尔可夫过程 ,其在时刻 t 取值为 x(即 )的概率分布 满足以下偏微分方程: 福克 - 普朗克方程是任意马尔可夫随机过程的通用结论,因为它是查普曼 - 科尔莫戈罗夫方程和主方程的推论。本教程中研究的过程(如朗之万方程)是这一随机过程大家族的特殊情况。因此,若有朗之万方程,其解 的概率分布必然满足福克 - 普朗克方程。
非线性朗之万方程
若聚焦于非线性朗之万方程: 我们可以计算克莱默斯 - 莫亚尔系数 。以下定理总结了这些系数,且在证明过程中,会清晰体现为何 仅限制到 和 。
定理 5.9(非线性朗之万方程的福克 - 普朗克方程):考虑非线性朗之万方程: 其中 和 为函数。该非线性朗之万方程的福克 - 普朗克方程具有以下克莱默斯 - 莫亚尔系数:
证明:回顾克莱默斯 - 莫亚尔系数的定义: 难点在于计算矩 。
从非线性朗之万方程入手: 对于小 ,将 展开,且令 ,则可写为: 假设 h 和 g 可展开为: 代入上式可得: 现在,迭代上述方程,用积分替换 ,得到: 这里仅写出涉及 h、g 和 的项,未忽略涉及 的项。
取期望,注意到 ,可证明方程 (5.38) 中仅前两项和最后一项留存,即: 这里遵循 Risken 的定义 。当 ,方程 (5.39) 的第一项和第三项满足: 对于方程 (5.39) 的第二项,可证明: 其中假设 关于 t 可积,故定义 。因此,我们得到: 的推导本质上遵循相同的论证思路。关键在于,当计算 中的平方项时,方程 (5.39) 中的积分会给出与 成比例的贡献。当 ,所有这些项都会消失,因为在 的定义中仅有一个 因子。结果是,唯一能留存的项为: 这就完成了证明。
示例 5.4 考虑如下朗之万方程: 那么,解 的概率分布 满足以下福克 - 普朗克方程:
示例 5.5 在 的特殊情况下,朗之万方程简化为维纳过程(Wiener process): 对应的福克 - 普朗克方程为: 该方程被称为热传导方程(heat equation)或扩散方程(diffusion equation)。若初始条件为 ,其解为(推导见下文):
热传导方程的求解
热传导方程可通过傅里叶变换求解。为简化符号,记 , 。考虑一般的热传导方程: 初始条件为 。我们可通过定义傅里叶变换(在 之间映射),对两边进行变换: 这会得到: 利用傅里叶变换的微分性质,方程右侧可写为: 从而得到一个常微分方程: 该微分方程(关于 t )的解为: (注:方程 (5.40) 是简单的微分方程 ,可通过积分求解。)因此,若对 关于 进行傅里叶逆变换,我们会得到: 这是 与 乘积的傅里叶逆变换。由于傅里叶域中的乘法对应空间域中的卷积,因此 是 与 的卷积。而 因此,可证明解为: 若 ,则 ,可得:
概率流
福克 - 普朗克方程有一些有趣的物理解释。回顾福克 - 普朗克方程: 定义一个量: 那么,福克 - 普朗克方程可写为: 解释方程 (5.45) 的一种方式是,它代表概率流。
方程 (5.45) 的直观推导
能量守恒告诉我们,若在空间区域(如粒子或电荷)中某些量增加 / 减少,其数量的变化应等于表面的变化。因此,若 表示某种密度,那么 将是时刻 t 位于区间 内的粒子数量。这里, 可视为单位时间内流经 x 的粒子流。对于时间区间 和空间区间 ,粒子数量的变化为: 粒子数量增加减少 由于能量守恒,要发生这种变化,必须存在电流的流动。区间上的电流为: 流入流出的粒子数量 令两者相等,可得: 对 进行一阶泰勒近似,得 ;对 进行一阶泰勒近似,得 。由此可得: 因此,福克 - 普朗克方程可被视为能量守恒的一种形式,其中 p(随时间)的变化应等于 S(随空间)的变化。
平衡解
在平衡状态下,概率流消失,即 。因此,可证明如下结论。
定理 5.10:在平衡状态下,由于概率流消失,概率分布 满足: ----
示例 5.6例如,若 ,,则 给出: 即 。求解该微分方程,可得: 示例 5.7(与 SMLD 的联系)尝试将我们的结果与定义3.1的方程 (3.1) 进行映射。考虑一维情况,如下朗之万方程: 为避免符号混淆,令 为该朗之万方程解 的概率分布。此朗之万方程的克莱默斯 - 莫亚尔系数为: 因此,对应的福克 - 普朗克方程为: 当 达到平衡时,概率分布 可写为 。由于概率流消失,可得: 回顾 ,则: 由于我们可自由选择 ,令 ,则上述方程简化为 对两边关于 x 积分,可得: 其中 C 为常数。令 为概率分布,那么 是对数似然,方程 (5.47) 给出 由于 和 均为概率分布,必须有 且 ,因此可推出 。
综上,我们得出:若运行朗之万方程直至收敛,其解的概率分布 恰好是真实分布 。此外,噪声水平 与步长 的关系为 。
5.5 结论性评述
在本节中,我们讨论了布朗运动、朗之万方程和福克 - 普朗克方程背后的物理知识,并展示了统计物理文献中的几个经典定理。我们的许多结果具有一般性,可应用于任意马尔可夫随机过程。超越马尔可夫过程的研究可通过将空间 / 时间关联限制在小间隔内来实现。
关于该主题有大量参考文献,其中许多源自物理学领域。Risken 的教科书 是该主题的经典参考资料,涵盖了基本所有要点。对于寻求更通用内容的读者,Reichl 的统计物理书籍 可满足需求。
6 结论
本教程涵盖了近期文献中基于扩散的生成模型的一些基本概念。我们认为深入研究这些基本原理而非仅停留在 Python 编程表面尤为重要。
在撰写本教程时,有几点经验值得分享。去噪扩散概率模型(DDPM)的发展在很多方面是变分自编码器(VAE)的延伸,包括结构、证据下界的使用以及重参数化技巧。虽然 DDPM 仍是最先进的方法之一,但未来若能避免任何迭代会更理想。近期一些论文开始探索使用知识蒸馏来减少迭代次数的可行性,还有一些研究通过借鉴微分方程文献中的思想来探索加速方法。
对于对成像感兴趣的读者,得分匹配朗之万动力学(SMLD)可能会继续在解决逆问题中发挥关键作用。得分匹配函数的训练与去噪步骤几乎完全相同,应用得分匹配步骤就是一个去噪过程。因此,一旦我们知道如何将逆问题分解为前向模型和先验分布,就能利用得分匹配进行后验采样。近期方法也开始探索各种贝叶斯扩散模型,以连接物理模型和数据驱动模型。
随机微分方程(SDE)和福克 - 普朗克方程为 SMLD 方程的推导方式提供了很好的理论直观。从历史上看,SMLD 的发展似乎并非始于 SDE,但如今对解统计特性的认识有助于理解其行为。
展望未来,扩散模型面临的最大挑战是与物理世界的一致性,尽管它们的计算复杂度很高。特定类别的学习将继续产生影响,例如,可使用细胞上的图像库训练定制的扩散模型。时间一致性将需要更大的模型和更多内存来存储帧,需要新的架构来利用不断增加的时间输入数量。另一个开放性问题是如何将语言和语义引入图像生成,图像是否应继续表示为像素阵列(或特征像素),或者是否有新方法可以用几个词描述场景而不丢失信息?最后,信息取证将在未来几十年成为最大的挑战,直到我们开发出有效的应对措施(或策略)。